Latent-Aligned Reasoning for Multimodal Recommendation
潜在对齐推理用于多模态推荐
🧭 多模态推荐 · VLM 潜在推理与双对齐 ★ 深度解读
Xiaohongshu Inc. · Nanjing University
提出 LARK 两阶段潜在推理框架，用视觉与推理文本双重对齐缓解多模态推荐中的跨模态稀释，在 Amazon 与工业数据集上一致超越 baseline
📌 工作参考价值（4 点）
- 离线 item encoder 部署：用 VLM 对商品图/文离线生成 embedding 并预存向量索引，线上只训练 DeepFM/LightGCN/SASRec 等轻量模型，把多模态推理成本完全移出 serving 路径；该论文在百万级商品上验证了此 decoupled 设计的可扩展性。
- 用 Swing 相似度构造 item-item 对比学习正样本，比随机负样本更符合电商协同信号，能显著提升长尾商品表示；已有 Swing 的电商场景可直接替换为 InfoNCE 的正样本源。
- 若业务需要在 VLM 内做多步推理，可采用 latent tokens + 双对齐：用 frozen vision encoder 做 patch-wise 对齐保留视觉信息，用 stop-gradient CoT hidden states 对齐保留推理语义；掩码图像 50% 可防过拟合像素级细节。
- 超参参考：latent token 总数 16（4 组×4）、损失权重 0.1、对比温度 0.07 在多个数据集稳健；3B 参数 VLM 即可超越 7B NoteLLM-2，说明结构设计比模型规模更关键。